พระเจ้าเฮนรีที่ 2 พระราชบิดาของเจฟฟรีย์มุ่งมั่นกับขยายและรักษาอาณาเขตในฝรั่งเศส พระเจ้าเฮนรีมีพระอนุชาคือเจฟฟรีย์ (จูฟเฟรย์) เคานต์แห่งน็อง ซึ่งน็องต์เป็นหนึ่งในสองเมืองหลวงเก่าของเบรอตาญ หลังเจฟฟรีย์ เคานต์แห่งน็องต์ถึงแก่กรรมในปี ค.ศ. 1158 โกน็องที่ 4 ดยุคแห่งเบรอตาญพยายามจะอ้างสิทธิ์ในน็องต์ ทว่าพระเจ้าเฮนรีที่ 2 ได้ผนวกน็องต์เข้าเป็นส่วนหนึ่งในดินแดนของพระองค์

เมื่อขุนนางเบรอตาญลุกฮือขึ้นก่อกบฏ โกน็อง ดยุคแห่งเบรอตาญได้ร้องขอความช่วยเหลือจากกษัตริย์แห่งอังกฤษซึ่งพระองค์ได้ตอบรับการร้องขอเพราะหมายตาเบรอตาญอยู่ พระองค์ต้องการได้เบรอตาญซึ่งตั้งอยู่บนพรมแดนทางตะวันตกของนอร์ม็องดีมาเป็นส่วนหนึ่งของราชอาณาจักร ในปี ค.ศ. 1164 พระองค์ดำเนินการยึดดินแดนตามแนวชายแดนเบรอตาญ-นอร์ม็องดี ทำให้อำนาจในเบรอตาญของพระองค์เพิ่มมากขึ้นเรื่อยๆ จนทำให้พระเจ้าเฮนรีมองว่าพระองค์คือเจ้าเหนือหัวของเบรอตาญและโกน็องที่ 4 ดยุคแห่งเบรอตาญคือขุนนางศักดินาของพระองค์ ในปี ค.ศ. 1166 พระองค์ได้บุกเบรอตาญเพื่อลงโทษกลุ่มขุนนางกบฏ หลังปราบการปฏิวัติได้สำเร็จ พระองค์บีบให้โกน็องสละตำแหน่งให้แก่กงส์ต็องส์ บุตรสาววัย 5 ปีและจับดัชเชสน้อยหมั้นหมายกับเจฟฟรีย์วัย 8 พรรษา เป็นไปได้ว่าที่พระเจ้าเฮนรีบีบให้โกน็องสละตำแหน่งเพราะไม่ต้องการให้บุตรชายที่อาจเกิดมาในอนาคตของเขาได้สืบทอดดัชชี

ในเดือนพฤษภาคม ค.ศ. 1169 เจฟฟรีย์ทำพิธีเข้ารับตำแหน่งเป็นดยุคแห่งเบรอตาญที่อาสนวิหารแร็งส์และได้รับการถวายความเคารพจากขุนนางเบรอตาญในช่วงคริสต์มาสของปี ค.ศ. 1169 ในปี ค.ศ. 1181 เจฟฟรีย์ได้สมรสกับกงส์ต็องส์แห่งเบรอตาญ ทั้งคู่มีบุตรด้วยกันสามคน คือ

• เอเลนอร์แห่งเบรอตาญ (เกิด ค.ศ. 1184)
• มาทิลดาแห่งเบรอตาญ (เกิด ค.ศ. 1185) เสียชีวิตในวัยเด็ก
• อาเธอร์ที่ 1 ดยุคแห่งเบรอตาญ (เกิด ค.ศ. 1187) เกิดหลังเจฟฟรีย์สิ้นพระชนม์ได้หกเดือน